Dream-RSI: Recursive Self-Improvement through Evolving Worlds
Dream-RSI：通过演化世界实现递归自我改进的探索框架
🧭 Agent 探索策略递归自改进
Google · University of Maryland, College Park · Google Deepmind · University of Virginia
用历史发现树构建重放模拟器，以离线低成本反馈迭代优化探索策略，降低发现成本并提升质量
📌 工作参考价值（4 点）
- 把探索策略从底层 coding agent 中拆出，做成可编程 orchestration layer；业务中的 Agent 搜索/推荐策略也可分离“生成/排序核心”与“探索策略”，便于低成本切换和迭代。
- 利用已积累的发现树/用户交互轨迹构建 replay simulator，进行 off-policy 评估，避免每次探索策略变更都跑线上长链路；对电商搜索、推荐 Agent 的策略选型、prompt/工具调用组合优化尤其划算。
- 采用 log replay + dreaming 方式生成即时低延迟反馈，适合需要大量策略试错的场景（如广告出价、商品推荐 query 生成），可降低在线 A/B 成本。
- 自改进 loop 中将新发现不断并入 simulator pool，形成持续扩大的离线评估环境；对应业务可把每次线上实验数据沉淀为可复用的策略仿真器。